原文:Publish/Subscribe
状态:待校对
翻译:Bingjian-Zhu
校对:

CC-BY-SA

发布/订阅

(使用Go客户端)

上篇教程中,我们搭建了一个工作队列,每个任务只分发给一个工作者(worker)。在本篇教程中,我们要做的跟之前完全不一样 —— 分发一个消息给多个消费者(consumers)。这种模式被称为“发布/订阅”。

为了描述这种模式,我们将会构建一个简单的日志系统。它包括两个程序——第一个程序负责发送日志消息,第二个程序负责获取消息并输出内容。

在我们的这个日志系统中,所有正在运行的接收方程序都会接受消息。我们用其中一个接收者(receiver)把日志写入硬盘中,另外一个接受者(receiver)把日志输出到屏幕上。

最终,日志消息被广播给所有的接受者(receivers)。

交换机(Exchanges)

前面的教程中,我们发送消息到队列并从中取出消息。现在是时候介绍RabbitMQ中完整的消息模型了。

让我们简单的概括一下之前的教程:

  • 发布者(producer)是发布消息的应用程序。
  • 队列(queue)用于消息存储的缓冲。
  • 消费者(consumer)是接收消息的应用程序。

RabbitMQ消息模型的核心理念是:发布者(producer)不会直接发送任何消息给队列。事实上,发布者(producer)甚至不知道消息是否已经被投递到队列。

发布者(producer)只需要把消息发送给一个交换机(exchange)。交换机非常简单,它一边从发布者方接收消息,一边把消息推送到队列。交换机必须知道如何处理它接收到的消息,是应该推送到指定的队列还是是多个队列,或者是直接忽略消息。这些规则是通过交换机类型(exchange type)来定义的。

发布/订阅 - 图2

有几个可供选择的交换机类型:direct, topic, headersfanout。我们在这里主要说明最后一个 —— fanout。先创建一个fanout类型的交换机,命名为logs:

  1. err = ch.ExchangeDeclare(
  2. "logs", // name
  3. "fanout", // type
  4. true, // durable
  5. false, // auto-deleted
  6. false, // internal
  7. false, // no-wait
  8. nil, // arguments
  9. )

fanout交换机很简单,你可能从名字上就能猜测出来,它把消息发送给它所知道的所有队列。这正是我们的日志系统所需要的。

交换器列表

rabbitmqctl能够列出服务器上所有的交换器:sudo rabbitmqctl list_exchanges 这个列表中有一些叫做amq.*的匿名交换器。这些都是默认创建的,不过这时候你还不需要使用他们。

匿名的交换器

前面的教程中我们对交换机一无所知,但仍然能够发送消息到队列中。因为我们使用了命名为空字符串(“”)的匿名交换机。 回想我们之前是如何发布一则消息:

  1. err = ch.Publish(
  2. "", // exchange
  3. q.Name, // routing key
  4. false, // mandatory
  5. false, // immediate
  6. amqp.Publishing{
  7. ContentType: "text/plain",
  8. Body: []byte(body),
  9. })

exchange参数就是交换机的名称。空字符串代表默认或者匿名交换机,消息将会根据指定的routing_key分发到指定的队列。

现在,我们就可以发送消息到一个具名交换机了:

  1. err = ch.ExchangeDeclare(
  2. "logs", // name
  3. "fanout", // type
  4. true, // durable
  5. false, // auto-deleted
  6. false, // internal
  7. false, // no-wait
  8. nil, // arguments
  9. )
  10. failOnError(err, "Failed to declare an exchange")
  11. body := bodyFrom(os.Args)
  12. err = ch.Publish(
  13. "logs", // exchange
  14. "", // routing key
  15. false, // mandatory
  16. false, // immediate
  17. amqp.Publishing{
  18. ContentType: "text/plain",
  19. Body: []byte(body),
  20. })

临时队列

你还记得之前我们使用的队列名吗( hello和task_queue)?给一个队列命名是很重要的——我们需要把工作者(workers)指向正确的队列。如果你打算在发布者(producers)和消费者(consumers)之间共享同队列的话,给队列命名是十分重要的。

但是这并不适用于我们的日志系统。我们打算接收所有的日志消息,而不仅仅是一小部分。我们关心的是最新的消息而不是旧的。为了解决这个问题,我们需要做两件事情。

首先,当我们连接上RabbitMQ的时候,我们需要一个全新的、空的队列。我们可以手动创建一个随机的队列名,或者让服务器为我们选择一个随机的队列名(推荐)。

其次,当与消费者(consumer)断开连接的时候,这个队列应当被立即删除。 在amqp客户端中,当我们将队列名称作为空字符串提供时,我们创建一个具有生成名称的非持久队列:

  1. q, err := ch.QueueDeclare(
  2. "", // name
  3. false, // durable
  4. false, // delete when usused
  5. true, // exclusive
  6. false, // no-wait
  7. nil, // arguments
  8. )

该方法返回时,队列实例包含RabbitMQ生成的随机队列名称。例如,它可能看起来像amq.gen-JzTY20BRgKO-HjmUJj0wLg。 当声明它的连接关闭时,队列将被删除,因为它被声明为exclusive。 您可以在guide on queues了解有关exclusive和其他队列属性的更多信息

绑定(Bindings)

发布/订阅 - 图3

我们已经创建了一个fanout交换机和一个队列。现在我们需要告诉交换机如何发送消息给我们的队列。交换器和队列之间的联系我们称之为绑定(binding)。

  1. err = ch.QueueBind(
  2. q.Name, // queue name
  3. "", // routing key
  4. "logs", // exchange
  5. false,
  6. nil,
  7. )

现在,logs交换机将会把消息添加到我们的队列中。

绑定(binding)列表

你可以使用rabbitmqctl list_bindings 列出所有现存的绑定。

代码整合

发布/订阅 - 图4

发布日志消息的程序看起来和之前的没有太大区别。最重要的改变就是我们把消息发送给logs交换机而不是匿名交换机。在发送的时候我们需要提供routing_key参数,但可以忽略它的值。以下是emit_log.go

  1. package main
  2. import (
  3. "log"
  4. "os"
  5. "strings"
  6. "github.com/streadway/amqp"
  7. )
  8. func failOnError(err error, msg string) {
  9. if err != nil {
  10. log.Fatalf("%s: %s", msg, err)
  11. }
  12. }
  13. func main() {
  14. conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/")
  15. failOnError(err, "Failed to connect to RabbitMQ")
  16. defer conn.Close()
  17. ch, err := conn.Channel()
  18. failOnError(err, "Failed to open a channel")
  19. defer ch.Close()
  20. err = ch.ExchangeDeclare(
  21. "logs", // name
  22. "fanout", // type
  23. true, // durable
  24. false, // auto-deleted
  25. false, // internal
  26. false, // no-wait
  27. nil, // arguments
  28. )
  29. failOnError(err, "Failed to declare an exchange")
  30. body := bodyFrom(os.Args)
  31. err = ch.Publish(
  32. "logs", // exchange
  33. "", // routing key
  34. false, // mandatory
  35. false, // immediate
  36. amqp.Publishing{
  37. ContentType: "text/plain",
  38. Body: []byte(body),
  39. })
  40. failOnError(err, "Failed to publish a message")
  41. log.Printf(" [x] Sent %s", body)
  42. }
  43. func bodyFrom(args []string) string {
  44. var s string
  45. if (len(args) < 2) || os.Args[1] == "" {
  46. s = "hello"
  47. } else {
  48. s = strings.Join(args[1:], " ")
  49. }
  50. return s
  51. }

(emit_log.go 源码)

正如你看到的那样,在连接成功之后,我们声明了一个交换器,这一个是很重要的,因为不允许发布消息到不存在的交换器。

如果没有绑定队列到交换器,消息将会丢失。但这个没有所谓,如果没有消费者监听,那么消息就会被忽略。

receive_logs.go:的代码:

  1. package main
  2. import (
  3. "log"
  4. "github.com/streadway/amqp"
  5. )
  6. func failOnError(err error, msg string) {
  7. if err != nil {
  8. log.Fatalf("%s: %s", msg, err)
  9. }
  10. }
  11. func main() {
  12. conn, err := amqp.Dial("amqp://guest:guest@localhost:5672/")
  13. failOnError(err, "Failed to connect to RabbitMQ")
  14. defer conn.Close()
  15. ch, err := conn.Channel()
  16. failOnError(err, "Failed to open a channel")
  17. defer ch.Close()
  18. err = ch.ExchangeDeclare(
  19. "logs", // name
  20. "fanout", // type
  21. true, // durable
  22. false, // auto-deleted
  23. false, // internal
  24. false, // no-wait
  25. nil, // arguments
  26. )
  27. failOnError(err, "Failed to declare an exchange")
  28. q, err := ch.QueueDeclare(
  29. "", // name
  30. false, // durable
  31. false, // delete when usused
  32. true, // exclusive
  33. false, // no-wait
  34. nil, // arguments
  35. )
  36. failOnError(err, "Failed to declare a queue")
  37. err = ch.QueueBind(
  38. q.Name, // queue name
  39. "", // routing key
  40. "logs", // exchange
  41. false,
  42. nil,
  43. )
  44. failOnError(err, "Failed to bind a queue")
  45. msgs, err := ch.Consume(
  46. q.Name, // queue
  47. "", // consumer
  48. true, // auto-ack
  49. false, // exclusive
  50. false, // no-local
  51. false, // no-wait
  52. nil, // args
  53. )
  54. failOnError(err, "Failed to register a consumer")
  55. forever := make(chan bool)
  56. go func() {
  57. for d := range msgs {
  58. log.Printf(" [x] %s", d.Body)
  59. }
  60. }()
  61. log.Printf(" [*] Waiting for logs. To exit press CTRL+C")
  62. <-forever
  63. }

(receive_logs.go 源码)

这样我们就完成了。如果你想把日志保存到文件中,只需要打开控制台输入:

  1. $ go run receive_logs.go > logs_from_rabbit.log

如果你想在屏幕中查看日志,那么打开一个新的终端然后运行:

  1. $ go run receive_logs.go

当然还要发送日志:

  1. $ go run emit_log.go

使用rabbitmqctl list_bindings你可确认已经创建的队列绑定。你可以看到运行中的两个receive_logs.go程序:

  1. sudo rabbitmqctl list_bindings
  2. # => Listing bindings ...
  3. # => logs exchange amq.gen-JzTY20BRgKO-HjmUJj0wLg queue []
  4. # => logs exchange amq.gen-vso0PVvyiRIL2WoV3i48Yg queue []
  5. # => ...done.

显示结果很直观:logs交换器把数据发送给两个系统命名的队列。这就是我们所期望的。

如何监听消息的子集呢?让我们移步教程4